Un caminante aleatorio es un tipo particular de una cadena de Markov.
Una cadena de Markov es, a su vez, un tipo de proceso estocástico, es decir una evolución en el tiempo que no es determinista, sino donde hay una probabilidad dada, el sistema lleva a cabo una transición hacia un estado nuevo. Las cadenas de Markov son de gran importancia hoy día en las ciencias.
La particularidad de las cadenas de Markov es que satisfacen la propiedad de Markov: el estado nuevo depende sólo de un estado anterior. Se suele decir que el proceso no tiene memoria.
Por ejemplo, una caminata aleatoria satisface esto, ya que la posición al tiempo $t+1$ depende sólo de la posición al tiempo $t$ (no de posiciones a tiempos anteriores).
Sea $X_n$ el estado del proceso al tiempo $n$. Nos interesaremos por el momento en procesos de Markov tal que $P(X_{n+1} = j \, | \, X_n = i) = p_{ij}$, independiente del tiempo. La notación aquí es de una probabilidad condicional, es decir, la probabilidad de que el sistema está en el estado $j$ al tiempo $n+1$, dado que estaba en el estado $i$ al tiempo $n$.
[1] Las $p_{ij}$ forman una matriz.
(i) Escribe la matriz para un caminante aleatorio con fronteras reflejantes en 0 y $L=5$, si tiene probabilidades $p$, $q$, y $r$ de brincar a la derecha o izquierda, o de permanecer en el mismo lugar, respectivamente.
(ii) ¿Qué propiedad debe satisfacer cualquier matriz de transición?
[2] Considera una cadena que tiene 4 estados. Desde cada estado puede brincar a cada otro estado con igual probabilidad.
(i) Escribe la matriz de transición $\mathsf{P} = (p_{ij})$. ¿Qué propiedades tiene que satisfacer?
(ii) ¿Qué tipo de propiedades nos podrían interesar?, suponiendo que esto modela un estado físico, químico o biológico que puede estar en uno de estos estados.
(iii) Simula la dinámica del sistema: escribe una función que genera una realización de cierta longitud.
(iv) Escribe funciones que calculen las cantidades de interes numéricamente.
[3] Escribe una función para simular una realización de una trayectoria correspondiendo a una matriz de transición arbitraria $\mathsf{P}$ que satisfaga las propiedades de 2(i).
Tal como hicimos para un caminante aleatorio, para una cadena de Markov también podemos cambiar de punto de vista y estudiar la evolución de la distribución de probabilidad, la cual nos dice la probabilidad de que la cadena se encuentra en cada estado al tiempo $t$.
Primero veamos esto analíticamente.
[4] Supongamos que la cadena empieza en alguna distribución de probabilidad inicial $\mathbf{P}_0 = (P_{0,i}: i=1, \ldots, n)$, donde $n$ es el número de estados.
(i) Escribe la ecuación maestra que describe cómo evoluciona la probabilidad en 1 paso.
(ii) Escríbela de nuevo, ahora usando notación matricial.
(ii) ¿Qué pasa en 2 pasos? ¿En $N$ pasos?
[5] Simula la dinámica de la cadena de Markov de la pregunta 2 desde una condición inicial que es una delta en algún estado por un tiempo $t$. ¿Qué observas cuando $t \to \infty$?
[6] Este mismo fenómeno (lo que pasa cuando $t \to \infty$) ocurre para "casi todas" las cadenas de Markov (cuando se satisfacen ciertas condiciones técnicas). Explícalo usando propiedades de la matriz que vieron en álgebra lineal. ¿A qué corresponde lo que pasa cuando $t \to \infty$?